BaKron: Efficient Quantization with Kronecker-Factored Hessians
BaKron：基于Kronecker因式分解Hessian的高效量化加速
🧭 神经网络量化加速
University of California San Diego · Department of Mathematics · HDSI
利用双侧Kronecker-factored Hessian信息加速自适应舍入量化，复杂度与GPTQ同为立方级但精度更高
📌 工作参考价值（4 点）
- 在电商/推荐系统中部署大模型（如LLM-based推荐）时，可尝试用双侧曲率信息（输出坐标相关性）替代GPTQ仅依赖输入激活的量化方式，提升量化后模型精度。
- BaKron的递归分治与反斜对角并行策略可借鉴到自定义量化优化器中，将全矩阵量化成本从O(n⁴)降到O(n³)，尤其适用于推荐模型中中等规模投影层的高效压缩。
- 方法对基础量化器（如四舍五入、格子量化）和Hessian估计器解耦，允许在工程中灵活替换更精确的曲率近似（如KFAC），平衡精度与计算开销。
- 若直接在向量化权重上应用GPTQ式自适应舍入计算瓶颈过高，可采用BaKron的逐行/列交替更新框架，同时保持并行可行性，适配推荐系统在线serving的延迟要求。